\documentclass{rl}

\usepackage[ansinew]{inputenc}
%\usepackage[utf8]{inputenc}
\usepackage{amsmath}

\begin{document}

% Nr, Abgabedatum, Gruppenleiter, Gruppenname, Name1...Name4
\Abgabeblatt{6}{15.07.2012}{Tutor}{Gruppenname}%
                {Valentin Peka}{Jonas Hansen}{Ghislain Wamo}%
                
\section*{Problem 5.1 (Single-pole Balancing environment)}

\subsection*{Discretization of states and actions}
Zu Beginn der Agenten-Klasse wird im Dictionary f\"ur die Default Konfiguration festgelegt, dass pro Dimension 20 diskrete Zust\"ande verwendet werd en.\\
In der Funktion $setStateSpace()$ wird nun ein Dictionary erstellt, dass f\"ur alle vier Zustandsdimensionen als Key ein Tuple als Value erstellt, in dem das Schl\"usselwort ``discrete'' und eine Liste \"uber die Menge der diskreten Zust\"ande vorhanden sind.\\
Anschlie{\ss}end wird der StateSpace mit der zuvor erstellten Dictionary initialisiert.\\

Zur Diskretisierung des ActionSpace wird die Funktion $discretizedActionSpace()$ aufgerufen und die erw\"unschte Anzahl an Aktionen \"ubergeben.\\
Die Funktion $discretizedActionSpace()$ diskretisiert nach folgender Formel:\\

\[minValue + \frac{i}{(2 \times discreteActionsPerDimension) \times (maxValue - minValue)}\]

Wobei die Variable $i$ von 1 bis zur doppelten 'Anzahl an Aktionen pro Dimension' \\($discreteActionsPerDimension$) in Zweierschritten l\"auft.\\

Ein Nachteil dieser Implementation ist, dass jede Dimension der Zust\"ande die gleiche Anzahl an diskretisierten Zust\"ande hat. Es kann also nicht zwischen verschiedenen Zustandsdimensionen unterschieden werden, die evtl. verschieden genau diskretisiert werden sollten.\\

\end{document}


